A multi-modal dance corpus for research into interaction between humans in virtual environments

ダンスのマルチモーダルコーパス作成

サルサダンス

15 dancers, each performing 2 to 5 fixed choreographies,

センサーデータがリッチ

(サルサ手厚い)

We present a new, freely available, multimodal corpus for research into, amongst other areas, real-time realistic interaction between humans in online virtual environments. The specific corpus scenario focuses on an online dance class application scenario where students, with avatars driven by whatever 3D capture technology is locally available to them, can learn choreographies with teacher guidance in an online virtual dance studio. As the dance corpus is focused on this scenario, it consists of student/teacher dance choreographies concurrently captured at two different sites using a variety of media modalities, including synchronised audio rigs, multiple cameras, wearable inertial measurement devices and depth sensors. In the corpus, each of the several dancers performs a number of fixed choreographies, which are graded according to a number of specific evaluation criteria. In addition, ground-truth dance choreography annotations are provided. Furthermore, for unsynchronised sensor modalities, the corpus also includes distinctive events for data stream synchronisation. The total duration of the recorded content is 1 h and 40 min for each single sensor, amounting to 55 h of recordings across all sensors. Although the dance corpus is tailored specifically for an online dance class application scenario, the data is free to download and use for any research and development purposes.

私たちは、オンライン仮想環境における人間同士のリアルタイムでリアルなインタラクションなどの研究のために、新しく自由に利用できるマルチモーダルコーパスを紹介します。特定のコーパスシナリオは、彼らが地元で利用できるどんな3Dキャプチャ技術によっても動かされるアバターを持つ学生が、オンラインバーチャルダンススタジオで教師の指導で振り付けを学ぶことができるオンラインダンスクラスアプリケーションシナリオに焦点を合わせます。ダンスコーパスは、このシナリオに焦点を当てているため、同期オーディオリグ、複数のカメラ、ウェアラブル慣性測定装置、深度センサーなど、さまざまなメディアモダリティを使用して2つの異なるサイトで同時にキャプチャされた学生/教師ダンスの振り付けで構成されます。コーパスでは、いくつかのダンサーのそれぞれが、いくつかの特定の評価基準に従って格付けされるいくつかの固定された振り付けを行います。さらに、グラウンドトゥルースダンスの振り付けアノテーションも用意されています。さらに、非同期のモダリティのために、コーパスはまたデータストリーム同期のための特有のイベントを含む。記録されたコンテンツの合計時間は、各センサーで1時間40分で、全センサーで55時間の記録になります。ダンスコーパスは特にオンラインダンスクラスのアプリケーションシナリオに合わせて調整されていますが、データは自由にダウンロードして、あらゆる研究開発目的に使用できます。

@article{essid2013multi,

title="{A multi-modal dance corpus for research into interaction between humans in virtual environments}",

author={S. Essid and X. Lin and M. Gowing and G. Kordelas and A. Aksay and P. Kelly and T. Fillon and Q. Zhang and A. Dielmann and V. Kitanovski and R. Tournemenne and A. Masurelle and E. Izquierdo N. E. O'Connor and P. Daras and G. Richard},

journal={Journal on Multimodal User Interfaces},

volume={7},

number={1--2},

pages={157--170},

year={2013},

publisher={Springer}

}